Thượng Quan Kiệt lần đầu tiên nổi lên khi đi cùng với Lý Quảng Lợi trong cuộc xâm lược của người Hán ở Osh. Ông đã thăng quan tiến chức nhờ sự dũng cảm của mình.

Trong năm 87 TCN, khi Hán Vũ Đế gần mất, Thượng Quan được phong làm một trong 4 quan chức hỗ trợ người kế vị còn non trẻ Lưu Phất Lăng (tức Hán Chiêu Đế; còn 3 người còn lại là Hoắc Quang, Kim Mật Đê và Tang Hoằng Dương). Con trai của Thượng Quan Kiệt là Thượng Quan An kết hôn với con gái của Hoắc Quang; con gái của Thượng Quan An sau này trở thành hoàng hậu của Hán Chiêu Đế. Tuy nhiên, mối quan hệ giữa Thượng Quan Kiệt và Hoắc Quang không kéo dài mãi. Có lẽ là do Thượng Quan ghen tị với quyền lực của Hoắc lớn hơn của mình. Trong năm 80 TCN, Thượng Quan thị (上官氏), cùng với Tang Hoằng Dương, bị liên lụy trong mưu đồ nổi loạn và bị tiêu diệt.

Do tội phản quốc, tiểu sử của ông không được đưa vào Hán thư; thay vào đó là chi tiết về ông đã được tìm thấy trong rất nhiều tiểu sử của cháu gái ông và Lí Quảng Lợi.